\subsubsection{ICLR}
\begin{itemize}
    \item \citet{cho2022dkm}提出了\textit{Differentiable K-Means Clustering Layer}，优化了\textit{深度神经网络模型压缩和准确率之间的平衡}。
\end{itemize}
论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：DKM: Differentiable k-Means Clustering Layer for Neural Network Compression\cite{cho2022dkm}
    \item \textbf{研究问题}：在深度神经网络（DNN）模型压缩中,传统聚类方法无法通过反向传播优化权重与质心之间关系，以及权重聚类时存在的未充分优化、不可微等问题
    \item \textbf{方法与技术}：论文采用了哪些创新方法或技术？这些方法的优势是什么？提出了一种名为Differentiable K-Means Clustering Layer（DKM）的压缩算法，
    将 k -means 聚类转化为注意力问题，通过计算权重与聚类中心的距离矩阵，应用 softmax 得到注意力矩阵，实现权重与所有聚类中心的交互，进而进行可微的 k -means 聚类。
    该过程迭代进行，直至聚类中心收敛，且整个过程可微，能根据任务损失优化权重分配，即整个过程可以被反向传播优化
    \item \textbf{主要贡献}：该文的创新点就在于提出了一个新颖的方法，即使用注意力机制来捕捉权重和簇之间的交互作用，从而实现可微分的k-means聚类，
    而且实验结果表明DKM在模型压缩和准确率之间取得了更好的平衡，超越22年以前的先进算法，也是后续研究工作的基准方法之一。
    \item \textbf{不足与未来方向}：DKM 层会增加 GPU 内存使用，尤其在更多聚类（更多比特）和更小维度的情况下。
    此外，训练和推理时权重存在差异，导致准确率有一定下降，可以使用稀疏表示来减少 GPU 内存占用，如为每个权重保留 top-k 个聚类中心；
    将控制注意力矩阵软度的超参数 τ 设为每层可学习参数或应用调度策略，进一步提高模型准确性 
\end{itemize}
\subsubsection{DAC}
\begin{itemize}
    \item \citet{chen2024MoteNN}提出了\textit{轴连接图（ACG）表示方法}，优化了\textit{微型设备上深度神经网络的内存使用}。
    \item \citet{kang2024RT-MDM}提出了\textit{实时调度框架RT-MDM}，优化了\textit{多DNN任务的执行和内存管理}。
    \item \citet{Zhongzhi2023NetBosster}提出了\textit{NetBooster网络训练框架}，优化了\textit{微小神经网络在大规模数据集上的学习能力}。
\end{itemize}
论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：MoteNN: Memory Optimization via Fine-grained Scheduling for Deep Neural Networks on Tiny Devices
    \item \textbf{研究问题}：一些库和框架已经开发出来用于在小型设备上部署DNN。但是它们很少关注中间张量的内存使用优化。TinyEngine通过手动设计的基于补丁的推理来减少内存使用，但这种方法引入了显著的延迟开销，并且仅限于简单的CNN结构，因此难以应用于更复杂的DNNs。
    一些工作在具有复杂结构的网络中安排操作执行顺序可以有效地降低内存使用，但这些方法是粗粒度的，通过将操作符划分成较小的操作符并安排更细粒度的图，可以获得更大的内存减小（细粒度）。但网络中每个操作器都有相当多的分区方案，这些方案一起形成了一个大的组合优化空间。
    如何搜索出满足延迟约束下的最小峰值内存的网络分区方案和对应的调度是具有挑战性的。
    \item \textbf{方法与技术}：提出一种名为轴连接图（ACG）的图表示方法，以图形层次对操作符进行分区，显著减少了优化空间。 基于ACG还提出一种算法，该算法以内存瓶颈为导向，寻找合适的算子分区和调度方案。
    通过分析网络中各部分的内存需求和使用情况，确定内存瓶颈所在，然后根据这些信息对算子进行划分和调度，从而降低峰值内存使用。
    为了避免重叠滑动窗口引起的大量计算开销，MoteNN通过算子分区，将复杂的神经网络计算过程进行细分，根据不同算子的特点和内存需求，制定精细的执行顺序和调度方案，最大程度减少内存的峰值占用。 
    \item \textbf{主要贡献}：在实际应用中，使用各种流行网络对MoteNN进行评估，结果显示与当前最先进的方法相比，MoteNN在微型设备上可实现高达80\%的峰值内存使用降低，有效缓解了微型设备内存不足的问题。 
    而且在大幅降低内存使用的同时，几乎没有引入额外的延迟开销，使得深度神经网络在微型设备上能够快速运行，保证了系统的实时性和响应速度。 MoteNN不局限于简单的CNN，可应用于任意深度神经网络。
    \item \textbf{不足与未来方向}：未来可研究如何进一步提升MoteNN在更复杂和新型神经网络结构上的性能硬件适配策略，使其能更好地应用于各种不同架构的微型设备；还可以结合其他内存优化技术或硬件加速技术，进一步提高深度神经网络在微型设备上的整体运行效率。
\end{itemize}
\begin{itemize}
    \item \textbf{论文标题}：RT-MDM: Real-Time Scheduling Framework for Multi-DNN on MCU Using External Memory
    \item \textbf{研究问题}：随着在微控制器单元（MCUs）上执行的深度神经网络（DNNs）应用范围扩展到对时间要求严格的系统中，确保满足日益增长的DNN推理的时间要求变得至关重要。现有研究在满足这一需求方面存在不足，
    本文旨在提出一种针对在使用外部内存的MCU上执行多个DNN任务的实时调度框架，解决如何在这种资源受限的环境下，有效调度多个DNN任务，保证其执行时间要求，并合理管理内存的问题。
    \item \textbf{方法与技术}：对分段的DNN模型，分析其执行顺序依赖关系，以及在依赖条件下并行执行时的内存需求。 提出基于段组的内存管理策略，实现段组内内存的隔离使用，以及不同段组间内存的分片使用。
    同时专门为上述内存管理策略设计了任务内调度器。该调度器根据任务依赖和内存分配情况，合理安排任务执行顺序，确保在满足时间要求的同时，充分利用系统资源。
    \item \textbf{主要贡献}：提出首个针对在使用外部内存的MCU上执行多个DNN任务的实时调度框架，填补了该领域的空白。该方法在实际系统中优化了DNN任务的执行，有效容纳更多DNN任务，并为其提供时间保证，提升了基于MCU的实时系统在多DNN任务处理方面的性能。
    \item \textbf{不足与未来方向}：RT-MDM可能在面对极其复杂的DNN模型结构或大规模多任务场景时，其调度和内存管理的效率会受到挑战；在不同类型的MCU和外部内存组合下，框架的通用性或许有待提升。 
    未来可研究如何优化RT-MDM，使其能更好地应对复杂模型和大规模多任务场景，进一步提高调度和内存管理效率；探索增强框架在不同硬件环境下的通用性，使其能适配更多类型的MCU和外部内存
\end{itemize}
\begin{itemize}
    \item \textbf{论文标题}：NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants
    \item \textbf{研究问题}：在微小深度学习中，微小神经网络（TNNs）模型因容量有限导致出现欠拟合问题，如何提升其在大规模数据集上的学习能力和下游任务的准确率，同时保持其高效性。
    同时如何采用扩展-收缩策略，并解决其中存在的问题。
    \item \textbf{方法与技术}：提出了一种名为NetBooster的网络训练框架，旨在通过扩张-收缩策略提高DNN的性能。具体来说，该框架包括两个步骤：第一步是网络扩张，通过插入多层块来增加CNN的容量，并缓解其欠拟合问题；
    第二步是逐步线性化调整（Progressive Linearization Tuning，PLT），在目标数据集上逐步去除扩张块中的非线性激活函数并将其收缩回原始CNN，以继承学到的知识而不带来额外的推理开销。
    \item \textbf{主要贡献}：首次提出通过构建深度巨网络来提升 TNNs 准确率的训练范式；NetBooster 训练框架相比现有方法，
    NetBooster 能使 TNNs 的准确率提升 1.3\% - 2.5\%；在下游任务中，最高可提升 4.7\% 的准确率；此外，该文还探索了何时、何地以及如何在训练TNN时进行数据扩充
    \item \textbf{不足与未来方向}：论文未提及 NetBooster 在处理某些特定复杂任务或数据集时可能存在的局限性，也未对框架在不同硬件平台上的适应性进行深入探讨。
    例如，如何更好地选择数据扩充的方式以及如何优化扩张-收缩策略等，未来可进一步探索。
\end{itemize}